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reads in image data from one or more snapshots from the video sensors. The results from the image data 
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(54) Verfahren zur Bodenraumuberwachung 

(57) Die vorliegende Erfindung betrifft eln Verfahren 
zur Raumuberwachung insbesondere des Bodenraums 
auf Flughafen. Urn ein Verfahren zur Verfugung zu stel- 
len, das elne preisgunstige und effektive Raumuberwa- 
chung, insbesondere des Luft- und Bodenraums von 
Flughafen, erlaubt, werden erfindungsgemafc die fol- 
genden Schritte vorgeschlagen: Oberwachung minde- 



stens eines Verkehrsortes mit mindestens einem Vide- 
osensor, Einlesen der Bilddaten mindestens einer Mo- 
mentaufnahme des zumindest einen Videosensors in 
eine Speichereinheit, Erkennen von Ereignissen,' Be- 
rechnen von Zustandsvektoren der Ereignisse aus den 
Bilddaten, Zuordnen der Zustandsvektoren jeweils zu 
einem Objekt und Ausgabe von Objektdaten. 
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Beschreibung 

[0001] Die voiiiegende Erfindung betrifft ein Verfah- 
ren zur Raumuberwachung insbesondere des Boden- 
raums auf Flughafen. Die Luft- und Bodenraumuberwa- 
chung wird im Rahmen der Flugsicherung durchgefuhrt 
und dient dazu, den Luftverkehr reibungslos, schnell 
und sicher zu gestalten. 

[0002] Zu den Aufgaben der Flugsicherung gehort ne- 
ben der schnellen und flussigen Abwicklung des Luft- 
verkehrs die Vermeidung von ZusammenstofJen zwi- 
schen Fahrzeugen in der Luft und auf den Start- und 
Landebahnen, dem Rollfeld und den Parkbereichen der 
kontrollierten Flughafen. 

[0003] Die Kapazitat des Flugverkehrs wird im we- 
sentlichen durch zwei Engpasse beschrankt. So istzum 
einen aufgrund eingeschrankter Luftwege und -korrido- 
re der nutzbare Luftraum stark eingeengt. Zum anderen 
ist haufig der Verkehrsdurchsatz am Boden stark be- 
grenzt, da es an preisgunstigen und intelligenten Bo- 
denraumuberwachungssystemen fehlt und da neben 
Flugzeugen auch eine Vielzahl von Servicefahrzeugen 
am Bodenverkehr teilnimmt. 

[0004] Die bekannten Bodenraumuberwachungssy- 
steme sind sehr teuer, da sie eine Vielzahl von Senso- 
ren, wie z.B. Flughafenradar, sekundares Radar und 
GPS benotigen. 

[0005] Demzufolge ist nur ein kieiner Teii der nationa- 
len und intemationaien Flughafen mit einem Boden- 
raumuberwachungssystem ausgerustet. Doch selbst 
wenn ein bekanntes Bodenraumuberwachungssystem 
vorhanden ist, so ist die Gberwachung dennoch haufig 
unvoilstandig, da im allgemeinen nicht alie Bereiche des 
Flugfeldes beobachtet werden konnen. 
[0006] Der vorliegenden Erfindung liegt daher die 
Aufgabe zugrunde, ein Verfahreh zur Verfugung zu stel- 
len, das eine preisgunstige und effektive Raumuberwa- 
chung, insbesondere des Luft- und Bodenraums von 
Flughafen, erlaubt. 

[0007] Diese Aufgabe wird erfindungsgemad durch 
ein Verfahren gelost, das die Schritte aufweist: 

Gberwachung mindestens eines Verkehrsortes mit 
mindestens einem Videosensor, 
Einlesen der Bilddaten mindestens einer Moment- 
aufnahme des zumindest einen Videosensors in ei- 
ne Speichereinheit, 
Erkennen von Ereignissen, 
Berechnung von Zustandsvektoren der Ereignisse 
aus den Bilddaten und 

Zuordnen der Zustandsvektoren jeweils zu einem 
Objekt. 

[0008] Unter einem Raumgebiet bzw. Verkehrsort 
kann man z.B. jeden beliebigen Ort auf dem Flugfeld 
verstehen. Dies kann beispielsweise die Start- Oder 
Landebahn oder aber eine beliebige ZufahrtsstraRe auf 
dem Vorfeld oder auch eine Gateausfahrt sein. Auch 
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wenn das erfindungsgemafte Verfahren bereits mit Vor- 
teil eingesetzt werden kann, wenn lediglich ein Ver- 
kehrsort mit mindestens einem Videosensor uberwacht 
wird, so werden doch vorzugsweise eine ganze Reihe 

5 von Verkehrsorten bzw. Verkehrsknotenpunkten jeweils 
mit mindestens einem Videosensor uberwacht. 
[0009] Der Videosensor kann im Prinzip jeder belie- 
bige auf Licht reagierende Sensor sein. Besonders be- 
vorzugt kommen jedoch digitale Videokameras zum 

10 EinsStz, da sie Bilddaten liefern, die besonders leicht 
weiterverarbeitet werden konnen. Diese Bilddaten kon- 
nen beispielsweise im Bitmapformat vorliegen, bei dem 
jedes Pixel einzeln in die Datei eingetragen ist. Mit Vor- 
teil konnen aber auch andere weniger speicherintensive 

15 Datenformate verwendet werden. Der Videosensor lie- 
fert eine Momentaufnahme seines Sichtfeldes in Form 
einer Bilddatendatei, die in geeigneter Weise in einer 
Speichereinheit eingelesen wird. Diese Bilddaten wer- 
den ausgewertet, urn ein oder mehrere Ereignisse zu 

20 erkennen, sofern solche vorliegen. Unter einem Ereig- 
nis werden alie UnregelmaRigkeiten im Sichtfeld des Vi- 
deosensors verstanden, insbesondere Bewegungen 
von Objekten im Gesichtsfeld der Kamera oder aber 
auch ein Vordergrundobjekt vor einem bestimmten und 

25 gespeicherten festen Untergrund. Befindet sich z.B. auf 
dem Rollfeld ein Flugzeug, das beispielsweise gerade 
uber einen sogenannten Stopbar rollt, so ist dies ein Er- 
eignis. Werden beispielsweise Bilddaten zweier zeitlich 
beabstandeter Momentaufnahmen desselben Ver- 

30 kehrsortes verglichen, so stellt eine Gruppe von Pixeln, 
deren Farbe einen hohen Kontrast zu den umgebenden 
Pixelgruppen aufweist und die auf den beiden Moment- 
aufnahmen eine andere Position einnimmt, ein Ereignis 
dar. Im nachsten Schritt wird fur jedes bekannte Ereignis 

35 aus den Bilddaten ein Zustandsvektor errechnet. Dieser 
Zustandsvektor kann im Prinzip beliebig definiert sein, 
z.B. als Differenz zweier vektoriell dargestellter Satze 
von Bildpixeln bzw. -daten. Eine Moglichkeit besteht 
auch darin, dad er die Position des beobachteten Ereig- 

40 nisses darstellt. 

[0010] Erkennen eines Ereignisses setzt insoweit 
auch die Definition dessen, was ein Ereignis ist, voraus, 
wobei die vorstehenden Erlauterungen ein Beispiel fur 
eine solche Definition liefern. 

45 [001 1] Schlieftlich wird jedem Zustandsvektor jeweils 
ein Objekt zugeordnet. Unter einem Objekt wird jeder 
reale Gegenstand verstanden, der sich auf dem Flug- 
hafenfeld befindet bzw. bewegt. 
[0012] Selbstverstandlich ist es moglich, das'Erken- 

50 nen von Ereignissen auf Ereignisse zu beschranken, die 
eine Mindestgrofce haben. Dadurch kann verhindert 
werden, daft beispielsweise einem zufallig durch das 
Sichtfeld des Videosensors fliegenden Vogel ein Objekt 
zugeordnet wird. 

55 [001 3] Durch das beschriebene Verfahren kann einer 
oder konnen mehrere Verkehrsorte effizient uberwacht 
werden. Die Objektdaten konnen entweder direkt an 
das Flugsicherungspersonal oder an eine geeignete 
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Verarbeitungseinrichtung weitergegeben werden. Das 
Flugsicherungspersonal ist dadurch jederzeit daruber 
informiert, ob sich ein Flugzeug an einem der beobach- 
teten Verkehrsorte befindet bzw. wo sich die Flugzeuge 
befinden. 

[0014] Besonders bevorzugt ist ein Verfahren, bei 
dem Bilddaten mindestens zweier zeitlich beabstande- 
ter Momentaufnahmen mindestens eines Videosensors 
eingelesen werden. Dadurch, dad zwei zeitlich versetz- 
te Momentaufnahmen desselben Videosensors und da- 
mit desselben Verkehrsortes eingelesen werden, ist es 
moglich, aufgrund der Veranderung der Position der Pi- 
xelgruppe, die das Ereignisdarstellt, eine Geschwindig- 
keitskomponente des Objekts zu berechnen. Bei geeig- 
neter Aufstellung des Videosensors und entsprechen- 
der Streckenfuhrung des Flugzeuges entspricht die Ge- 
schwindigkeitskomponente der absoluten Geschwin- 
digkeit. Bei nicht geradliniger Streckenfuhrung kann es 
von Vorteil sein, wenn mindestens ein Verkehrsort mit 
mehreren, vorzugsweise mindestens drei, Videosenso- 
ren uberwacht wird. In diesem Fall kann fur jeden Vide- 
osensor die relative Geschwindigkeitskomponente des 
Objekts getrennt berechnet werden. Bei Kenntnis der 
Standorte der Videosensoren kann daraus die absolute 
Geschwindigkeit sowie die Bewegungsrichtung des Ob- 
jekts ermittelt werden. Eine besonders bevorzugte Aus- 
fuhrungsform des vorliegenden Verfahrens sieht daher 
vor, daft der Zustandsvektor auch die Geschwindigkeit 
und/oder die Bewegungsrichtung des Objektes repra- 
sentiert. 

[0015] Dadurch ist es beispielsweise auch moglich, 
die Bewegung bzw. die Position des Objektes voraus- 
zuberechnen. Vorausgesetzt, dad sich die Geschwin- 
digkeit des Objekts nicht wesentlich andert, kann die 
Position des Objekts fur die Zukunft berechnet werden, 
ohne dad weitere Bilddaten von Videosensoren notwen- 
dig sind. Dies ermoglicht es, dad nicht der kompiette 
Rollfeldbereich uberwacht werden mud. Es ist vielmehr 
moglich, zwischen zwei uberwachten Verkehrsorten 
aus den Zustandsvektoren die voraussichtliche Position 
des Objektes zu berechnen. Dadurch stehen dem Flug- 
sicherungspersonal bzw. derweiterverarbeitenden Ein- 
heit zu jedem Zeitpunkt die berechneten aktuellen Po- 
sitionen der Luftfahrzeuge auf dem Boden des Flugfel- 
des zur Verfugung, ohne dad alle Bereiche des Flugfel- 
des von Videosensoren uberwacht werden. 
[0016] Eine weitere besonders bevorzugte Variante 
des erfindungsgemaden Verfahrens sieht vor, dad der 
Zustandsvektor die Beschleunigung eines Objekts dar- 
stellt. Zur Berechnung der Beschleunigung sind minde- 
stens drei Momentaufnahmen eines Videosensors not- 
wendig. Aus diesen drei Momentaufnahmen kann die 
Beschleunigung des Objekts berechnet werden. Die 
Genauigkeit der Positionsvorhersage des Verfahrens 
wird dadurch erheblich verbessert. Dies ist insbesonde- 
re in Bereichen, in denen sich die Geschwindigkeit der 
Luftfahrzeuge stark andert; z.B. aufgrund eines Ab- 
bremsvorgangs, von grodem Vorteil. Kann namlich aus 



dem Zustandsvektor auch die Beschleunigung des Ob- 
jekts entnommen werden, so kann diese bei der zeitli- 
chen Extrapolation der Position des Objekts beriicksich- 
tigt werden. 

5 [0017] Fur manche Anwendungsfalle kann es von 
Vorteil sein, wenn dem Zustandsvektor Werte zugeord- 
net werden, die ein Mad fiir die statistischen Wahr- 
scheinlichkeiten der Objektparameter sind. Diese Wert 
konnen auch in den Zustandsvektor integriert werden. 

10 Durch diese Madnahme kann die Fehlerrate in der Er- 
eigniserkennung deutlich minimiert werden. So ist es 
beispielsweise moglich, dad die Bilddaten des Video- 
sensors aufgrund auderer Einwirkungen, z.B. starker 
Niederschlag oder Vogelflug, nicht das zu beobachten- 

15 de Objekt zeigen. Dann kann es passieren, dad entwe- 
der ein Objekt erkannt wird, was sich in Wahrheit gar 
nicht am Verkehrsort befindet oder dad ein am Ver- 
kehrsort befindliches Flugzeug nicht erkannt wird. Da- 
her wird einem Zustandsvektor eines Objektes, das auf 

20 vielen hintereinander aufgenommenen Momentaufnah- 
men und von verschiedenen Videosensoren erkannt 
wurde, eine hohe statistische Wahrscheinlichkeit zuge- 
ordnet, wahrend einem Zustandsvektor eines Objekts, 
welches lediglich in einer Momentaufnahme erkannt 

25 wurde, eine sehr geringe statistische Wahrscheinlich- 
keit zugeordnet wird. Die statistische Wahrscheinlich- 
keit ist daher ein Mad fur die Quaiitat bzw. die Gute (d. 
h. die Genauigkeit und Zuverlassigkeit) des erkannten 
Ereignisses. Es ist dann beispielsweise moglich, einen 

30 Grenzwert zu definieren und alle Zustandsvektoren, de- 
ren Wert fur die statistische Wahrscheinlichkeit diesen 
Grenzwert unterschreitet, nicht zu beachten. 
[0018] Eine besonders bevorzugte Ausfuhrungsform 
des erfindungsgemaden Verfahrens sieht vor, dad die 

35 Zuordnung des Zustandsvektors zu einem Objekt unter 
Zugriff auf Verkehrslagedaten erfolgt, die nicht durch die 
Videosensoren gewonnen wurden. Diese Verkehrsla- 
gedaten konnen auf vielfaltige Art und Weise erhalten 
werden. So ist es beispielsweise moglich, dad das Flug- 

40 sicherungspersonal an einem geeigneten Terminal die 
einzelnen Zustandsvektoren den eintreffenden Flug- 
zeugen zuordnet. In diesem Fall enthalt der Zustands- 
vektor auch eine Objektidentifikationsnummer bzw. ei- 
nen Objektnamen. Es ist dadurch moglich, mit Hilfe des 

45 Verfahrens nicht nur zu uberwachen, wo sich ein Flug- 
zeug befindet, sondern sogar zu uberwachen, wo sich 
welches Flugzeug befindet. 

[001 9] Eine weitere Moglichkeit sieht vor, dad die Ver- 
kehrslagedaten aus dem aktuellen Flugplan und/oder 

50 dem Belegungsplan der Parkpositionen entnommen 
werden. So konnte beispielsweise das bestehende 
Flugsicherungssystem mit einem System, das das er- 
findungsgemade Verfahren verwirklicht, gekoppelt wer- 
den, so dad das Bodenraumuberwachungssystem, im- 

55 mer wenn ein Flugzeug auf der Landebahn landet, auf 
die Flugplandaten des bestehenden Flugsicherungssy- 
stems zugreift und das Flugzeug identifiziert. Diese 
Identifizierung wird dann wahrend der weiteren Boden- 
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raumuberwachung beibehalten. Ganz analog kann ein 
Objekt, das sich von einer Parkposition wegbewegt mit 
Hilfe des Belegungsplan der Parkpositionen identifiziert 
werden. 

[0020] Anstelie von Oder in Kombination mit den Flug- 
plandaten konnen auch Radardaten verwendet werden. 
Alternativ dazu sind selbstverstandiich auch a!ie ande- 
ren Positionssensoren verwendbar, die zusStzliche Ver- 
kehrslagedaten liefern. Hier kommen beispieisweise 
Mode-S-Radarsensoren, Near Range Radar Networks 
oder auch GPS-EmpfSnger und -Server in Frage. 
[0021] Eine besonders zweckmadige Ausfuhrungs- 
form sieht vor, dad die Bilddaten digital gefiltert werden, 
wobei vorzugsweise die diskrete Kalman-Filterung ver- 
wendet wird. Alternativ oder in Kombination dazu kann 
auch zumindest ein Teil der Verkehrslagedaten digital 
gefiltert werden, wobei auch hier vorzugsweise die dis- 
krete Kalman-Filterung verwendet wird. Durch die Kal- 
man-Filterung wird eine Schatzung und Glattung der 
Medwerte in Echtzeit erreicht. Alternativ dazu konnen 
auch andere geeignete Schatzverfahren, wie z.B. die 
MLS-Filterung (minimum least square), verwendet wer- 
den. Dadurch kann die Qualitat des erfindungsgema- 
den Verfahrens deutlich erhoht werden. Wie bereits er- 
wahnt, ist es besonders bevorzugt, wenn die Zustands- 
vektoren zeitabhangig weiterberechnet werden. So 
kann durch dieses Verfahren auch bei kurzfristigem 
Ausfall der Videosensoren die Position der einzelnen 
Objekte mit grader Wahrscheinlichkeit vorhergesagt 
werden. 

[0022] Dabei werden vorzugsweise die Zustandsvek- 
toren desselben Objekts, die von unterschiedlichen 
Sensoren ermittelt wurden, zusammengefadt. Gleiches 
gilt fur die von den Sensoren erhaltenen Zustandsvek- 
toren und die Zustandsvektoren aus den anderen Ver- 
kehrslagedaten. Dadurch wird die Bodenraumuberwa- 
chung ubersichtlicher, da weniger Zustandsvektoren 
verfolgt werden mussen. 

[0023] Nicht immer ist es moglich, die Zustandsvek- 
toren zusammenzufassen. Insbesondere dann, wenn 
unterschiedliche Systeme zur Erfassung von Verkehrs- 
lagedaten verwendet werden, kann eineZusammenfas- 
sung schwierig oder sogar unmoglich werden. In die- 
sem Fall ist es vorteilhaft, wenn die Zustandsvektoren 
desselben Objekts miteinander korreliert werden. Lie- 
fert beispieisweise das Radarsystem mit groden Zeitin- 
tervallen zuverlassige Positionsdaten eines bestimmten 
Objektes, so kann der Zustandsvektor dieses Objekts 
mit den Radardaten korreliert werden. Mit anderen Wor- , 
ten wird immer dann, wenn die zuverlassigen Radarda- 
ten vorliegen, der aus den Videosensoren ermittelte und 
gegebenenfalls zeitlich extrapolierte Zustandsvektor 
dieses Objekts angepadt. Diese Korrelation erlaubt eine 
Korrektur der Zustandsvektoren auch dann, wenn das 
Objekt sich nicht an einem von Videosensoren uber- 
wachten Verkehrsort aufhalt. 

[0024] Besonders bevorzugt ist ein Verfahren, bei 
dem sich an die Zuordnung der Zustandsvektoren zu 



Objekten der Schritt anschliedt: 
[0025] Erzeugung einer Verkehrslagedarstellung. 
[0026] Diese Verkehrslagedarstellung kann in jedem 
beliebigen Koordinatensystem erfolgen. Die Zustands- 

5 vektoren der erkannten Objekte werden in Positionen in 
der Verkehrslagedarstellung umgerechnet und an die- 
sen Positionen in die Verkehrslagedarstellung eingetra- 
gen. Selbstverstandiich ist es moglich, die Verkehrsla- 
gedarstellung zu visualisieren, so dad das Flugsiche- 

10 rungspersonal auf einen Blick erkennen kann, an wel- 
chen Positionen sich die einzelnen Flugzeuge befinden 
und ob an irgendeiner Stelle eine Kollision droht. 
[0027] Eine solche visuelle Darstellung ist jedoch 
nicht unbedingt notwendig. So ist es in einer besonders 

15 bevorzugten Variante des Verfahrens vorgesehen, dad 
die Zustandsvektoren im Hinblick auf mogliche Koliisio- 
nen ausgewertet werden. Hier werden die Zustandsvek- 
toren nicht nur zur Erzeugung einer Verkehrslagedar- 
stellung in Echtzeit weitergerechnet, sondern es erfolgt 

20 eine Extrapolation der Zustandsvektoren in die Zukunft, 
urn mogliche Kollisionen vorhersehen zu konnen. Be- 
sonders bevorzugt sieht das Verfahren daher vor, dad 
in Abhangigkeit von der Kollisionsauswertung ein 
Alarmsignal aktiviert wird. Dieses Alarmsignal kann bei- 

25 spielsweise ein optisches oder akustisches Signal fur 
das Flugsicherungspersonal sein. 
[0028] Weitere Vorteile, Merkmale und Anwendungs- 
moglichkeiten des vorliegenden Verfahrens werden 
deutlich anhand derfolgenden Beschreibung eines be- 

30 vorzugten Verfahrens sowie der dazugehorigen Figur. 
Es zeigt: 

Figur 1 einen schematischen Aufbau eines Boden- 
raumuberwachungssystems. 

35 

[0029] Die einzige Figur zeigt den prinzipiellen Auf- 
bau eines Bodenraumuberwachungssystems. Die ein- 
zelnen Komponenten des Systems sind miteinander 
uber ein Kommunikationsnetzwerk 9 (z.B. TCP/IP-LAN 

40 Netzwerk) miteinander verbunden. Oberhalb der Linie 
9 sind in Figur 1 die einzelnen Clients 10, 11 und 12 
dargestellt, wahrend unterhalb der Linie 9 die drei Ser- 
ver 2, 3 und 5 abgebildet sind. Der Server 2 ist fur die 
Zusammenfuhrung der Videosensorarten zustandig. 

45 Die einzelnen Videosensoren 7, die die Objekte 8 er- 
kennen, werden uber die Ansteuer- und Ausleseeinheit 
1 mit dem Server 2 verbunden. Der Server 2 sammelt 
die Sensordaten, filtert diese mit zeitvarianter diskreter 
Kalman-Filterung und bildet die Zustandsvektoren der 

so Objekte 8. Die Zustandsvektoren werden an den Radar- 
server 3 zur weiteren Verarbeitung weitergegeben. Der 
Radarserver 3 filtert einen oder mehrere Luftraumuber- 
wachungsradare mit einem zeitinvarianten diskreten 
Kalman-Filter, urn Flugrouten zu erzeugen. Dieser Ser- 

55 ver fuhrt eine Korrelation zwischen den videobasierten 
Flugbahnen und den Radarflugbahnen zusammen mit 
einer Korrelation mit den Flugplandaten 5. Die korrelier- 
te Information wird zu den Clients 10, 11 und 12 gelie- 
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fert. Der Flugplanserver 5 liefert die Flugplandaten zu 
dem Radarserver 3 fur die Korrelation des Radars mit 
dem Flugplan und fur die zeitbasierte Identifizierung der 
startenden Fiugzeuge. Der Flugplanserver 5 erhalt 
Flugplananderungen von seinen Clients 6. 
[0030] Durch das erfindungsgemafte Verfahren wer- 
den Videosensordaten mit anderen Verkehrslagedaten 
kombiniert, urn eine Verkehrslagedarstellung zu erzeu- 
gen, die eine sichere und zuverlassige Uberwachung 
des Luft- und Bodenraums gewShrleistet. Ein System, 
das das erfindungsgemafte Verfahren verwirklicht, be- 
steht aus Sensorhardware 1, 7, 8, Rechnerhardware 2, 
3, 5, Netzwerkinfrastruktur 9 sowie Sensorsoftware, 
Kommunikationssoftyvare, Verarbeitungssoftware und 
Lagedarstellungssoftware. 

[0031] Die Videosensordaten werden mit Hilfe der Vi- 
deosensoren 7 erfaftt. Dabei werden zunachst mit Hilfe 
derdigitalen Kameras 7 Pixeldaten aufgenommen. Die- 
se umfassen sogenannte Bildframes einer oder mehre- 
rer Videosensoren in hoher Frequenz (typischerweise 
grofter als 27 Hz). Dabei sind Bildframes mindestens 
zweidimensionale Vektoren von Pixeln (Grau- bzw. 
Farbwerte), welche die Aufnahme der digitalen Kamera 
mit einer nicht unendlichen Auflosung widerspiegeln. 
Aus diesen Pixeldaten werden die Zustandsdaten bzw. 
Zustandsvektoren berechnet. Diese konnen die folgen- 
den Informationen enthalten: Objektidentifikationsnum- 
mer, Objektklassifikation, Position, Geschwindigkeit, 
Bewegungsrichtung, Beschleunigung und statistische 
Wahrscheinlichkeit/Qualitat (Genauigkeit, Zuverlassig- 
keit). 

[0032] Die anderen Verkehrslagedaten konnen bei- 
spielsweise Radardaten sein, die der Radarserver 3 zur 
Verfugung stellt. Dabei handelt es sich urn digitalisierte 
Daten von beispielsweise Langstreckenradaren und 
Flughafenradaren. Diese Radare sind durch die Box mit 
der Bezugszahl 4 symboiisiert worden. Die Flugpland- 
aten, die von dem Flugplandatenserver 5 zur Verfugung 
gestellt werden, konnen beispielsweise von existieren- 
den Flugplansystemen ubernommen werden, die an ein 
System, das das erfindungsgemafte Verfahren verwirk- 
licht, angeschlossen werden konnen. 
[0033] Die Kombination der Videosensordaten mit 
den anderen Verkehrslagedaten erfolgt durch Bildda- 
tenverarbeitung, digitale Filterung, statistische Interfe- 
renz, Sensordatenfusion, Track-Korrelation und Zeit- 
fensterkorrelation. Dabei umfafttdie Bilddatenverarbei-- 
tung die Obertragung der Pixeldaten einer angewahlten 
digitalen Kamera zum anwahlenden Lagedarstellungs- 
system sowie die Erkennung und Klassifikation von Ob- 
jekten in den Pixeldaten. Die digitale Filterung der 
Meftwerte erfolgt mittels der diskreten Kalman-Filte- 
rung. Mit ihrer Hilfe werden alle extrahierten Zustands- 
vektoren aus der Ereigniserkennung der Videosensor- 
daten gefiltert. Auf die gleiche Art und Weise konnen 
auch die Radardaten oder die Daten anderer Sensoren 
gefiltert werden. Unter statistischer Inferenz wird ver- 
standen, daft bei der Berechnung von zukunftigen Zu- 
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standsvektoren bzw. der Extrapolation von Zustands- 
vektoren beriicksichtigt wird, daft die Ausgangsdaten 
mit einer entsprechenden Ungenauigkeit und Unzuver- 
lassigkeit behaftet sind, so dad sich die statistische 

5 Wahrscheinlichkeit des neuen Zustandsvektors aus der 
Fortpflanzung der Ungenauigkeit und Unzuverlassigkeit 
der ursprunglichen Zustandsvektoren berechnet. 
[0034] Unter Sensordatenfusion wird die korrekte Zu- 
sammenfuhrung von Objektinformationen fur Objekte, 

10 die von mehreren Sensoren erfaftt wurden, verstanden. 
Werden beispielsweise von zwei unterschiedlichen Vi- 
deosensoren sich erganzende Bewegungsinformatio- 
nen ein- und desselben Objektes erhalten, so. werden 
diese in einen gemeinsamen Zustandsvektor eingetra- 

15 gen. Bei der Sensordatenfusion muft jedoch darauf ge- 
achtet werden, daft sich unterscheidende Objekte, die 
sich moglicherweise sehr nahe kommen, jederzeit kor- 
rekt unterschieden werden. 

[0035] Unter der Track-Korrelation wird verstanden, 
20 daft die auf Basis unterschiedlicher Sensoren berech- 
neten Flug- bzw. Bewegungsrouten fur die gleichen Ob- 
jekte uberpruft werden. Mit anderen Worten werden die 
Flugrouten, die aus den Videosensoren ermittelt wur- 
den, mit den Flugrouten, die aus den Radardaten ermit- 
25 teltwurden, korreliert, sofern jene zur Verfugung stehen. 
[0036] Unter der Zeitfensterkorrelation wird verstan- 
den, daft die Routen, die auf Basis der Sensordaten er- 
mittelt wurden, mit dem Bewegungsfahrplan der Objek- 
te gemaft der voriiegenden Flugplandaten innerhalb ei- 
30 nes bestimmten Zeittoleranzfensters abgeglichen wer- 
den. 

[0037] Die so ermittelten Zustandsvektoren werden in 
eine Lagedarstellung eingetragen. Dies erfolgt in se- 
quentiellen Zyklen. Die einzelnen Positionsdaten wer- 

35 den von dem Server 2 an den Radarserver 3 weiterge- 
geben. Die Server 2 und/oder 3 ubernehmen aufterdem 
die Konfiiktermittlung. Das heiftt fur jeweils zwei Zu- 
standsvektoren wird gepriift, ob Kollisionsgefahr vor- 
liegt. Des weiteren wird uberprQft, ob gesperrte Ver- 

40 kehrsschutzbereiche durch andere eindringende Ob- 
jekte verletzt werden. 

[0038] Liegt ein Kollisions- oder Verletzungsrisiko vor, 

so wird ein entsprechender Alarm ausgelost. 

[0039] Mit Hilfe des voriiegenden Verfahrens ist es 

45 moglich, preisgunstig und aufterst effektiv eine Luft- 
raum- und insbesondere eine Bodenraumuberwachung 
vorzunehmen. Durch dieses Verfahren wird es moglich, 
eine Oberwachung effektiv auch in Bereiche auszudeh- 
nen, die von keinem Sensor erfaftt werden. Das Verfah- 

50 ren kann sehr einfach mit bereits bestehenden Luft- und 
Bodenraumuberwachungssystemen kombiniert wer- 
den. Dabei profitieren beide Verfahren voneinander. 

55 Patentanspruche 

1 . Verfahren zur Raumuberwachung, das die Schritte 
aufweist: 
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4. 



Oberwachung mindestens eines Verkehrsortes 
mit mindestens einem Videosensor, 
Einlesen der Bilddaten mindestens einer Mo- 
mentaufnahme des zumindest einen Video- 
sensors in eine Speichereinheit, 
Erkennen von Ereignissen, 
Berechnen von Zustandsvektoren der Ereig- 
nisse aus den Bilddaten, 
Zuordnen der Zustandsvektoren jeweiis zu ei- 
nem Objekt und 
Ausgabe von Objektdaten. 

Verfahren nach Anspruch 1, dadurch gekenn- 
zeichnet, daB das uberwachte Raumgebiet minde- 
stens einen Teil eines Flugfeldes bzw. Flughafen- 
gelandes bildet. 

Verfahren nach Anspruch 1 Oder 2, dadurch ge- 
kennzeichnet, daB der Zustandsvektor die Positi- 
on eines Objektes darstellt. 

Verfahren nach einem der Anspruche 1 bis 3, da- 
durch gekennzeichnet, daft Bilddaten mindestens 
zweier zeitlich beabstandeter Momentaufnahmen 
des mindestens einen Videosensors eingelesen 
werden. 

Verfahren nach einem der Anspruche 1 bis 4, da- 
durch gekennzeichnet, dad der mindestens eine 
Verkehrsort mit mehreren, vorzugsweise mit min- 
destens drei, Videosensoren uberwacht wird. 
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11. Verfahren nach Anspruch 9 Oder 10, dadurch ge- 
kennzeichnet, daft die Zuordnung der Zustands- 
vektoren zu einem Objekt unter Zugriff auf Flugp- 
landaten erfolgt. 

12. Verfahren nach einem der Anspruche 9 bis 11 , da- 
durch gekennzeichnet, daB die Zuordnung der 
Zustandsvektoren zu einem Objekt unter Zugriff auf 
Positionssensoren erfolgt. 



13. Verfahren nach einem der Anspruche 1 bis 12, da- 
durch gekennzeichnet, daB die Bilddaten digital 
gefiltert werden, wobei vorzugsweise die diskrete 
Kalman-Filterung oder MLS-Filterung verwendet 

15 wird. 

14. Verfahren nach einem der Anspruche 9 bis 13, da- 
durch gekennzeichnet, daB zumindest ein Teil der 
Verkehrslagedaten digital gefiltert wird, wobei vor- 

20 zugsweise die diskrete Kalman-Filterung oder 
MLS-Filterung verwendet wird. 



15. Verfahren nach einem der Anspruche 1 bis 14, da- 
durch gekennzeichnet, daB die Zustandsvektoren 
zeitabhangig in Echtzeit weiterberechnet werden. 



16. Verfahren nach einem der Anspruche 1 bis 15, da- 
durch gekennzeichnet, daB die Zustandsvektoren 
desselben Objekts, die von unterschiedlichen Sen- 
30 soren oder Verkehrslagedaten ermittelt wurden, zu- 
sammengefaBt werden. 



Verfahren nach einem der Anspruche 1 bis 5, da- 
durch gekennzeichnet, daB der Zustandsvektor 
die Geschwindigkeit und/oder die Bewegungsrich- 
tung eines Objekts darstellt. 



17. Verfahren nach einem der Anspruche 1 bis 16, da- 
durch gekennzeichnet, daB die Zustandsvektoren 
35 desselben Objekts, die aus unterschiedlichen Ver- 
kehrslagedaten ermittelt wurden, korreliert werden. 



7. Verfahren nach einem der Anspruche 1 bis 6, da- 
durch gekennzeichnet, daB der Zustandsvektor 
die Beschleunigung eines Objekts darstellt. 

8. Verfahren nach einem der Anspruche 1 bis 7. da- 
durch gekennzeichnet, daB dem Zustandsvektor 
ein Wert zugeordnet wird, der ein Mad fur die stati- 
stische Wahrscheinlichkeit des Objektes bzw. der 
Genauigkeit und Zuverlassigkeit der Objektpara- 
meterist. 

9. Verfahren nach einem der Anspruche 1 bis 8, da- 
durch gekennzeichnet, daB die Zuordnung der 
Zustandsvektoren zu einem Objekt unter Zugriff auf 
Verkehrslagedaten erfolgt, die nicht durch die Vide- 
osensoren gewonnen wurden. 

10. Verfahren nach Anspruch 9, dadurch gekenn- 
zeichnet, daB die Zuordnung der Zustandsvekto- 
ren zu einem Objekt unter Zugriff auf Radardaten 
erfolgt. 



18. Verfahren nach einem der Anspruche 1 bis 17, da- 
durch gekennzeichnet, daB sich der Zuordnung 

40 der Zustandsvektoren zu Objekten der Schritt an- 
schliefit: 

Erzeugung einer Verkehrslagedarstellung. 

19. Verfahren nach Anspruch 18, dadurch gekenn- 
45 zeichnet, daB die Zustandsvektoren in Positionen 

in der Verkehrslagedarstellung umgerechnet wer- 
den und an diesen Positionen in die Verkehrslage- 
darstellung eingetragen werden. 

so 20. Verfahren nach Anspruch 18 oder 19, dadurch ge- 
kennzeichnet, daB die Zustandsvektoren im Hin- 
blick auf mogliche Koliisionen ausgewertet werden. 

21. Verfahren nach Anspruch 20, dadurch gekenn- 
55 zeichnet, daB ein Alarmsignal in Abhangigkeit von 
dem Ergebnis der Kollisionsauswertung aktiviert 
wird. 
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22. Verfahren nach einem Anspruche 18 bis 21, da- 
durch gekennzeichnet, daft die Verkehrslagedar- 
stellung in vorzugsweise festen aquidistanten Zeit- 
abstanden aktualisiert wird. 

5 
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